#sample efficiency

4 篇

EXIMO: VLM Guided Exploration of VLA Policies

EXIMO: VLM 引导的 VLA 策略探索

🧭 机器人 VLA 微调 · 探索-模仿-优化

Google DeepMind

提出三阶段（探索-模仿-优化）VLA 微调算法，用 VLM 规划分解任务并配合 residual off-policy RL，显著提升样本效率

📌 工作参考价值（4 点）

可借鉴 VLM 作为规划器分解长程任务：在搜索/推荐 Agent 中，用 LLM 将用户复杂意图拆解为多个可执行子 query 或子步骤，降低单次决策难度。
“探索-模仿-优化”三阶段训练模式：先通过规划引导收集高质量数据（探索），再做监督微调（模仿），最后用离线 RL 优化策略，比直接在线 RL 或纯 BC 更高效，适合 Agent 策略迭代。
Residual off-policy RL 思路：在已有大模型策略上训练残差模块进行 RL 微调，避免全参数 RL 的不稳定，可迁移到 LLM 推荐策略的轻量级在线优化。
用 VLM 生成 intermediate subgoals 指导策略探索，类似在推荐中生成有序的候选集或子任务序列，提升长链路任务的完成率。

Training | 2026-08-19 | HF Daily | score 6/10

QuasiMoTTo: Quasi-Monte Carlo Test-Time Scaling

QuasiMoTTo：准蒙特卡洛测试时扩展

🧭 QMC 相关采样 · 推理与RL 样本效率 ★ 深度解读

Stanford University

用准蒙特卡洛相关采样替代独立采样，推理与RL训练中样本效率提升25-50%

📌 工作参考价值（4 点）

在推荐排序/agent 推理的 beam search 或并行采样中，可用 lattice QMC 生成更均匀覆盖的候选集，减少冗余生成，维持每条候选的边缘分布不变（即仍是原策略的准确样本），从而在相同成本下提升 recall 或 pass@k。
在策略梯度训练（如 GRPO）中，通过 QMC 采样提高组内样本多样性，可以降低零方差组的比例，增大有效梯度样本数，加速收敛；可尝试在广告竞价策略或推荐对话策略训练中引入。
算术编码的逆 CDF 采样方法本身实现了低 overhead 的并行生成，可复用到任何需要高效并行生成的场景（如搜索召回时的多条 query 改写）。
对于已有独立采样的系统，QMC 采样是几乎零成本的 drop-in 替换，仅需在 batch 生成前生成均匀随机数并传递给解码器，不改变模型推理逻辑。

LLM | 2026-07-01 | cs.LG | score 8/10

Quasi-Monte Carlo test-time scaling sample efficiency GRPO pass@k arithmetic coding

Learning from the Self-future: On-policy Self-distillation for dLLMs

从自我未来学习：面向扩散LLM的在线策略自蒸馏

🧭 扩散LLM后训练 · 在线自蒸馏

Tsinghua University · Technical University of Munich · Nanyang Technological University · University of British Columbia · University of Texas at Austin

首个面向扩散大语言模型的在线自蒸馏框架，通过后缀条件化与步骤级监督实现高效后训练

📌 工作参考价值（4 点）

若业务中采用扩散模型做生成式推荐（如商品语义ID序列生成），可借鉴d-OPSD的后缀条件化设计：将已生成的未来token作为条件，为当前token提供稠密监督，无需额外的前缀特权信息。
步骤级监督（step-level KLD）比token级监督更适配迭代去噪训练过程，可在扩散推荐模型的微调中替换逐token loss，提升生成质量与训练效率。
该方法样本效率极高（仅需RLVR 10%的优化步数），在大规模推荐模型训练中可大幅降低算力成本，适合资源受限场景的模型后训练。
自未来经验蒸馏的思路可推广至其他序列生成任务，例如用llm生成搜索query时，利用模型自身后续生成的内容作为监督信号，强化长程一致性。

Training | 2026-06-16 | cs.CL | score 7/10

OPSD dLLM self-distillation diffusion models reasoning sample efficiency

OPRD: On-Policy Representation Distillation

OPRD：在策略表征蒸馏

🧭 策略蒸馏 · 表征对齐

Zhejiang University · Ant Group

将在策略蒸馏从输出空间提升到隐藏状态空间，消除采样方差并提供更丰富的结构化监督信号

📌 工作参考价值（4 点）

用表征蒸馏替代输出空间KL：在训练小模型（如电商客服、推荐解释）时，可直接对齐学生与教师中间层隐藏状态，绕过庞大的词表投影，消除采样方差，使训练更稳定，尤其适用于大词表（如中文150k+）场景。
内存与速度优化：OPRD loss在LM head之前计算，避免存储完整词表分数矩阵，训练速度快1.44倍，内存减少54%，适合资源受限的线上微调或频繁迭代。
层间对齐可迁移到多模态或推荐模型：方法不限于文本，可扩展到多模态表征蒸馏（如视觉-语言对齐），或用于推荐系统中用户/物品编码器的迁移学习，将复杂大模型知识压缩到轻量级线上模型。
提供确定性、逐层结构监督：相比输出蒸馏的稀疏奖励，表征蒸馏给出逐位置、逐层的稠密信号，利于捕捉细粒度语义，对于对话Agent的多轮一致性、推荐解释生成等任务可能更有效。

Training | 2026-06-03 | HF Daily | score 7/10

on-policy distillation representation alignment LLM post-training sample efficiency